一种基于python的集群日志自动化分析方法与流程

#一种基于python的集群日志自动化分析方法与流程| 来源: 网络整理| 查看: 265

技术特征：1.一种基于python的集群日志自动化分析方法，其特征在于，所述方法，包括：步骤s1：在本地windows机器上安装python包，在linux机器上安装jenkins服务和git服务；步骤s2：在git服务上创建日志分析项目，将创建的日志分析项目下载至windows机器上并在创建的日志分析项目下创建python文件和集群账号配置文件，将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中；步骤s3：在jenkins服务上根据日志分析项目创建日志分析任务，对创建的日志分析任务进行配置；步骤s4：通过调用python文件，启动步骤s3创建的日志分析任务，定时对多集群进行日志分析，将日志分析报告保存至jenkins服务。2.根据权利要求1所述的基于python的集群日志自动化分析方法，其特征在于，步骤s2，包括：步骤s21：在git服务上创建日志分析项目，将创建的日志分析项目通过git clone命令下载至windows机器上；步骤s22：进入日志分析项目目录，创建集群账号配置文件，所述集群账号配置文件以键值对的形式存储集群信息，其中，键为集群英文缩写，值为对应集群的用户信息，所述用户信息包括ip、用户名、密码和端口；步骤s23：进入日志分析项目目录，创建python文件，编写待分析日志的集群列表ip_list入参和任务执行时长run_time入参，创建parse_config、multi_connect、ssh_login和log_analysis函数；步骤s24：将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中。3.根据权利要求1所述的基于python的集群日志自动化分析方法，其特征在于，步骤s3，包括：步骤s31：在jenkins服务上根据日志分析项目创建日志分析任务；步骤s32：将python文件中的集群列表ip_list入参配置为集群账号配置文件中的集群英文缩写，将python文件中的任务执行时长run_time入参配置为24小时；步骤s33：为日志分析任务配置触发器、源码管理、执行shell命令以及报告归档目录。4.根据权利要求3所述的基于python的集群日志自动化分析方法，其特征在于，步骤s33，包括：将触发器的触发事件配置为每日0点。5.根据权利要求3所述的基于python的集群日志自动化分析方法，其特征在于，步骤s33，还包括：通过输入日志分析项目在git服务上的url和鉴权信息配置日志分析任务的源码管理。6.根据权利要求1所述的基于python的集群日志自动化分析方法，其特征在于，步骤s4，包括：步骤s41：通过在jenkins服务上勾选集群列表ip_list中待分析日志集群的集群英文缩写以及所述待分析日志集群对应的任务执行时长run_time入参，启动日志分析任务；步骤s42：解析集群账号配置文件，根据解析获得的用户信息登录对应的集群；步骤s43：通过执行kubectl命令获取集群中所有的服务名称，根据服务名称遍历每个服务，通过log_anlysis函数查询过去1小时内服务中包含错误信息关键字的日志，将所述日志以服务名称命名保存在报告归档目录的错误日志文件夹中；步骤s44：通过比较当前任务的已执行时长与任务执行时长run_time入参，根据比较结果结束或继续执行日志分析任务。7.根据权利要求6所述的基于python的集群日志自动化分析方法，其特征在于，步骤s42，包括：步骤s421：通过parse_config函数解析集群账号配置文件，根据集群英文缩写获取待分析日志集群对应的用户信息；步骤s422：通过multi_connect函数根据集群列表ip_list中集群的数量启用相应数量的线程；步骤s423：分别通过ssh_login函数根据用户信息远程登录对应的集群。8.根据权利要求6所述的基于python的集群日志自动化分析方法，其特征在于，步骤s43中的错误信息关键字包括，包括：error、exception、error和error。9.根据权利要求6所述的基于python的集群日志自动化分析方法，其特征在于，步骤s44，包括：如果当前任务的已执行时长小于任务执行时长run_time入参，继续执行步骤s42和步骤s43；如果当前任务的已执行时长大于等于任务执行时长run_time入参，结束日志分析任务。10.根据权利要求1所述的基于python的集群日志自动化分析方法，其特征在于，步骤s4，还包括：当日志分析任务结束，将报告归档目录中的报告保存至jenkins服务。

技术总结本发明涉及日志分析技术领域，提供一种基于python的集群日志自动化分析方法，包括：在本地windows机器上安装python包，在linux机器上安装jenkins服务和git服务；在git服务上创建日志分析项目，将创建的日志分析项目下载至windows机器上并在创建的日志分析项目下创建python文件和集群账号配置文件，将创建的python文件和集群账号配置文件上传至git服务的日志分析项目中；在jenkins服务上根据日志分析项目创建日志分析任务，对创建的日志分析任务进行配置；通过调用python文件，启动步骤S3创建的日志分析任务，定时对多集群进行日志分析，将日志分析报告保存至jenkins服务。根据本发明示例性实施例的基于python的集群日志自动化分析方法，可以实现自动化多集群日志分析，提高多集群日志分析的效率。提高多集群日志分析的效率。提高多集群日志分析的效率。

技术研发人员：张杭傅俪婕贾景松受保护的技术使用者：中电云数智科技有限公司技术研发日：2022.11.01技术公布日：2023/2/3

【本文地址】

公司简介

联系我们